在地质不确定性下，快速同化监测数据以更新压力累积和压力累积和二氧化碳（CO2）羽流迁移的预测是地质碳储存中的一个具有挑战性的问题。具有高维参数空间的数据同化的高计算成本阻碍了商业规模库管理的快速决策。我们建议利用具有深度学习技术的多孔介质流动行为的物理理解，以开发快速历史匹配 - 水库响应预测工作流程。应用集合更顺畅的多数据同化框架，工作流程更新地质特性，并通过通过地震反转解释的压力历史和二氧化碳羽毛的量化不确定性来预测水库性能。由于这种工作流程中最具计算昂贵的组件是储层模拟，我们开发了代理模型，以在多孔注射下预测动态压力和CO2羽流量。代理模型采用深度卷积神经网络，具体地，宽的剩余网络和残留的U-Net。该工作流程针对代表碎屑货架沉积环境的扁平三维储层模型验证。智能处理应用于真正的3D储层模型中数量与单层储层模型之间的桥梁。工作流程可以在主流个人工作站上不到一小时内完成历史匹配和储库预测，在不到一小时内。
translated by 谷歌翻译
We study a novel and important communication pattern in large-scale model-parallel deep learning (DL), which we call cross-mesh resharding. This pattern emerges when the two paradigms of model parallelism - intra-operator and inter-operator parallelism - are combined to support large models on large clusters. In cross-mesh resharding, a sharded tensor needs to be sent from a source device mesh to a destination device mesh, on which the tensor may be distributed with the same or different layouts. We formalize this as a many-to-many multicast communication problem, and show that existing approaches either are sub-optimal or do not generalize to different network topologies or tensor layouts, which result from different model architectures and parallelism strategies. We then propose two contributions to address cross-mesh resharding: an efficient broadcast-based communication system, and an "overlapping-friendly" pipeline schedule. On microbenchmarks, our overall system outperforms existing ones by up to 10x across various tensor and mesh layouts. On end-to-end training of two large models, GPT-3 and U-Transformer, we improve throughput by 10% and 50%, respectively.
translated by 谷歌翻译
尽管沟通延迟可能会破坏多种系统，但大多数现有的多基因轨迹计划者都缺乏解决此问题的策略。最先进的方法通常采用完美的通信环境，这在现实世界实验中几乎是现实的。本文介绍了强大的Mader（RMADER），这是一个分散的异步多轨迹计划者，可以处理代理商之间的通信延迟。通过广播新优化的轨迹和忠实的轨迹，并执行延迟检查步骤，Rmader即使在通信延迟下也能够保证安全。Rmader通过广泛的仿真和硬件飞行实验得到了验证，并获得了100％的无碰撞轨迹生成成功率，表现优于最先进的方法。
translated by 谷歌翻译
本文涉及分割中的伪标记。我们的贡献是四倍。首先，我们提出了伪标签的新表述，作为一种预期最大化（EM）算法，用于清晰的统计解释。其次，我们纯粹基于原始伪标记，即Segpl，提出了一种半监督的医学图像分割方法。我们证明，SEGPL是针对针对2D多级MRI MRI脑肿瘤分段任务和3D二进制CT肺部肺血管分段任务的半监督分割的最新一致性正则方法的竞争方法。与先前方法相比，SEGPL的简单性允许更少的计算成本。第三，我们证明了SEGPL的有效性可能源于其稳健性抵抗分布噪声和对抗性攻击。最后，在EM框架下，我们通过变异推理引入了SEGPL的概率概括，该推论学习了训练期间伪标记的动态阈值。我们表明，具有变异推理的SEGPL可以通过金标准方法深度集合在同步时执行不确定性估计。
translated by 谷歌翻译
本文介绍了频率卷积神经网络（CNN），用于快速，无创的2D剪切波速度（VS）成像的近表面地质材料。在频速度域中运行，可以在用于生成CNN输入的线性阵列，主动源实验测试配置中具有显着的灵活性，这些配置是归一化的分散图像。与波场图像不同，标准化的分散图像对实验测试配置相对不敏感，可容纳各种源类型，源偏移，接收器数量和接收器间距。我们通过将其应用于经典的近乎表面地球物理学问题，即成像两层，起伏的土壤 - 旁质界面的界面来证明频率CNN的有效性。最近，通过开发一个时间距离CNN来研究这个问题，该问题表现出了很大的希望，但在使用不同的现场测试配置方面缺乏灵活性。本文中，新的频道CNN显示出与时距CNN的可比精度，同时提供了更大的灵活性来处理各种现场应用程序。使用100,000个合成近表面模型对频率速度CNN进行了训练，验证和测试。首先，使用训练集的合成近表面模型测试了提议的频率CNN跨各种采集配置概括跨各种采集配置的能力，然后应用于在Austin的Hornsby Bend在Austin的Hornsby Bend收集的实验场数据美国德克萨斯州，美国。当针对更广泛的地质条件范围充分开发时，提出的CNN最终可以用作当前伪2D表面波成像技术的快速，端到端替代方案，或开发用于完整波形倒置的启动模型。
translated by 谷歌翻译
会话代理通常使用关键字发现（KWS）来启动与用户的语音交互。对于用户体验和隐私考虑，现有的KWS方法主要关注准确性，这通常可以以牺牲引入延迟为代价。为了解决这一权衡，我们提出了一种新的方法来控制KWS模型延迟，并在没有明确了解关键字端点的情况下将其推广到任何损失函数。通过单个可调的超参数，我们的方法使人们能够平衡目标应用程序的检测潜伏期和准确性。从经验上讲，我们表明，与现有方法相比，我们的方法在延迟限制下具有出色的性能。也就是说，与基线的最新面积相比，我们对固定延迟目标进行了实质性25 \％的相对错误接受改进。我们还表明，与交叉熵损失相比，当我们的方法与最大造成的损失结合使用时，我们能够在固定潜伏期时将相对错误接受提高25％。
translated by 谷歌翻译
本文考虑了深神经网络中随机矩阵普遍性的几个方面。在最近的实验工作中，我们使用与局部统计相关的随机矩阵的普遍特性，以基于其Hessians的现实模型来获得对深神经网络的实际含义。特别是，我们得出了深度神经网络光谱中异常值的普遍方面，并证明了随机矩阵局部定律在流行的预处理梯度下降算法中的重要作用。我们还通过基于统计物理学和随机矩阵理论的工具的一般参数，对深度神经网络损失表面的见解。
translated by 谷歌翻译
ALPA通过生成统一数据，操作员和管道并行性的执行计划来自动对大型深度学习（DL）模型的模型平行训练。现有的模型并行训练系统要求用户手动创建并行化计划，或者自动从有限的模型并行性配置中生成一个计划。它们不足以在分布式计算设备上扩展复杂的DL模型。 ALPA通过将并行性视为两个层次级别来分配大型DL模型的训练：操作员和操作员并行性。基于它，ALPA构建了一个新的分层空间，用于大规模的模型并行执行计划。 ALPA设计了许多汇编，以在每个并行性级别自动得出有效的并行执行计划。 ALPA实现了有效的运行时，以在分布式计算设备上协调两级并行执行。我们的评估表明，ALPA生成的并行化计划，即使在其设计的型号上，也可以匹配或超过手动模型并联训练系统。与专业系统不同，ALPA还推广到具有异质体系结构和模型的模型，而没有手动设计的计划。 ALPA的源代码可在https://github.com/alpa-projects/alpa上公开获得
translated by 谷歌翻译
识别野外（RFIW）的家庭，作为数据挑战，与第16届IEEE国际自动面部和手势识别（FG）一起举行，是一种大规模的多轨视觉亲属识别评估。这是我们第五版RFIW，我们继续努力吸引学者，将专业人士，发布新工作和讨论前景。在本文中，我们总结了今年RFIW三个任务的提交：特别是，我们审查了亲属验证，三对象验证和家庭成员搜索和检索的结果。我们来看看RFIW问题，以及分享当前的努力，并为未来的未来方向提出建议。
translated by 谷歌翻译
TorchXrayVision是一个开源软件库，用于使用胸部X射线数据集和深度学习模型。它为广泛的公共可公共胸部X射线数据集提供了一个通用的接口和通用预处理链。此外，通过库培训具有不同架构的许多分类和表示模型，通过库可获得不同的数据组合，以用作基线或特征提取器。
translated by 谷歌翻译